Robert Downey đã hẹn hò với nữ diễn viên Sarah Jessica Parker sau khi họ đang cùng diễn trong phim Firstborn. Nhưng họ đã chia tay từ năm 1991 vì lý do nghiện ngập của Downey.[57]. Ngày 29 tháng 5 năm 1992, ông cưới ca sĩ/diễn viên Deborah Falconer chỉ sau 42 ngày hẹn hò.[57] Họ có với nhau một người con trai, Indio Falconer Downey, sinh ngày 7 tháng 9 năm 1993 tại California[58] Tuy nhiên cuộc sống hôn nhân của họ càng ngày càng căng thẳng khi Downey liên tục phải đi cai nghiện và lên tới đỉnh điểm vào năm 2001, giữa lúc ông bị bắt giữ lần cuối cùng và phải theo một chương trình cai nghiện dài hạn. Họ sống li thân suốt 3 năm và đến năm 2004 thì chính thức ly dị. Theo quyết định, Downey sẽ được nuôi dạy Indio.[cần dẫn nguồn]

Năm 2003, trong khi đang thực hiện phim Gothika, ông đã gặp gỡ nhà sản xuất Susan Levin, phó chủ tịch điều hành của hãng Silver Picture. Giữa Downey và Susan dần dần nảy sinh tình cảm, dù cho Susan đã hai lần từ chối Downey khi ông muốn tiến xa hơn trong quan hệ của họ.[59] Sau khi Gothika hoàn thành, Downey đã khiến Susan vô cùng bất ngờ và hạnh phúc khi ông chính thức cầu hôn cô vào đúng vào đêm trước sinh nhật lần thứ 30. Họ kết hôn vào ngày 27 tháng 8 năm 2005 theo phong tục của người Do Thái ở Amagansett, New York. Họ có với nhau một người con trai, Exton Elias Downey, sinh ngày 7 tháng 2 năm 2012 tại Los Angeles, California.[60][61] Downey chia sẻ về những khó khăn của vợ trong việc giúp ông từ bỏ ma túy và rượu: "Tôi không có sự hiểu biết nào về những bức tranh lớn hơn trong đời thực mà không có sự chung tay của cô ấy. Bởi vì nó hoàn hảo, quá hoàn hảo, một sự kết nối hoàn hảo giữa những tính cách và những món quà".[62] Một hình xăm trên cánh tay của ông, "Suzie Q" là một cách để ông thể hiện lòng kính trọng dành cho vợ.[63][64]

Họ cùng nhau thành lập một công ty sản xuất riêng vào ngày 14 tháng 6 năm 2010, công ty Team Downey. Tác phẩm đầu tay của họ sẽ là Yucatan, một phim đề tài trộm cắp dựa trên kịch bản của Steve McQueen.[65]

Downey cho biết ông đã hoàn toàn cai nghiện thành công[66] từ tháng 6 năm 2013, nhờ có gia đình, phương pháp điều trị hiệu quả, chương trình phục hồi 12 bước, ngồi thiền, Yoga và Vịnh Xuân Quyền. Ông tự nhận mình là một người Do Thái nhưng lại có thiên hướng Đạo Phật[67]. Trong quá khứ, ông từng quan tâm tới đạo Cơ Đốc và hệ tư tưởng Hare Krishna.[67]

Trong một cuộc thảo luận, Rachel McAdams, nữ diễn viên cùng đóng với ông trong Sherlock Holmes đã gọi ông là một người hùng bởi sự tận tâm trong công việc.[68] Trong một lần khác, chính Downey cũng đã tả lại quá trình làm việc không ngừng nghỉ của mình nhằm tái hiện bức chân dung của Holmes một cách chính xác nhất, từ đó mang lại thành công cho phim.[68]

Downey có một tình bạn lâu năm với Mel Gibson từ khi họ cùng nhau diễn trong Air America. Ông đã đứng lên bảo vệ Gibson trong cuộc tranh cãi xung quanh phim The Passion of the Christ và đã nói rằng:"Không ai là hoàn hảo" khi muốn ám chỉ tới sự cố của Gibson.[69] Gibson kể lại:" Anh ấy là một trong những người đầu tiên gọi và muốn kết bạn. Anh ấy chỉ nói rằng:"Hey! Chào mừng tới Câu lạc bộ. Hãy cùng xem chúng ta có thể làm gì dựa trên chính mình" ("He was one of the first people to call and offer the hand of friendship. He just said, 'Hey, welcome to the club. Let's go see what we can do to work on ourselves').[70]

Tháng 11 năm 2011, Robert Downey được vinh danh tại lễ trao giải của Hiệp Hội rạp chiếu phim Hoa Kỳ (American Cinematheque Awards) lần thứ 25. Downey đã chọn Mel Gibson để mở màn, dù cho gần đây họ có một vài mâu thuẫn. Sau lời giới thiệu của Gibson, Downey lên phát biểu nhưng không hề bàn luận về giải thưởng hay bản thân ông mà lại giải thích lý do vì sao ông chọn Gibson. Ông tiếp tục tận dụng thời gian trên sân khấu để nói những lời có cánh về Gibson và sự giúp đỡ tận tâm dành cho ông vào những thời điểm khó khăn nhất. Cuối cùng, ông nói trực tiếp với Gibson:

"Tôi yêu cầu một cách khiêm nhường rằng hãy trở lại với tôi, trừ phi anh hoàn toàn không có lỗi và trong trường hợp anh đã lựa chọn sai trong cái ngành công nghiệp chết tiệt này - một sự tha thứ cho sự xúc phạm của anh và cho phép anh ấy tiếp tục có những đóng góp to lớn cho nghệ thuật công chúng mà không còn phải hổ thẹn nữa".

Sau bài phát biểu, 2 người bạn đã ôm nhau trên sân khấu giữa những tiếng vỗ tay của mọi người.[71]

Downey cho biết, khoảng thời gian ông ở trong tù đã thay đổi một chút quan điểm chính trị của ông: "Tôi có một quan điểm chính trị thật sự thú vị, và đó không phải là điều tôi luôn luôn nói quá lớn ở bàn tiệc tối nay. Nhưng bạn không thể khoác trên mình một bộ đồ đi tiệc đêm 2000$ ở La Mirage để đi đến trại cải tạo, hiểu được điều này rồi sau đó đi ra như một người tự do được. Bạn không thể. Tôi cũng không mong kinh nghiệm này sẽ tới với ai đó, nhưng thực sự điều này rất có giá trị giáo dục với tôi, nó đã giúp tôi định hình được phương hướng cũng như quan điểm chính trị của mình kể từ đó."[72]